【算法合规编译系列】如何对人工智能系统分级分类？
【编者按】
国家网信办等九部门联合发布的《关于加强互联网信息服务算法综合治理的指导意见》中提出，“坚持风险防控，推进算法分级分类安全管理，有效识别高风险类算法，实施精准治理。”在（九）算法备案部分也明确提出，要“健全算法分级分类体系，明确算法备案范围”。《互联网信息服务算法推荐管理规定》第二十三条规定，“网信部门会同电信、公安、市场监管等有关部门建立算法分级分类管理制度”并对“算法服务提供者实施分级分类管理。”由此可见，我国的算法治理方案中预期以分级分类为内核践行精准治理。但如何对算法及算法服务提供者实施科学有效精准的分类还需要一系列精细规则的支持。本期编译的文献聚焦人工智能系统的分类。作者指出，好的分级分类方法应当是通过易懂理解的方式，以对用户友好的方式进行。同时分类的核心依据应当是与政策相关的特征而非技术特征，同时应基于广泛的利益相关者的参与。作者进一步通过实证研究指出，与自主性维度相比，使用影响维度来分类能够产生更多一致准确的结果。用户也更擅长于通过系统的使用场景，而非技术特征来分类。保证这一途径的前提在于确保用户能够访问相关的系统信息，包括技术性系统特征。
【编译文献信息】
标题：Classifying AI Systems（CSET Data Brief）
作者：Catherine Aiken（CSET数据科学与研究主任）
来源：Center for Security and Emerging Technology
CSET是美国乔治敦大学(Georgetown University)的安全与新兴技术中心，成立于2019年1月，是一家关注安全与科技交叉领域，并提供无党派政策分析的研究机构。
【文章目录】
A．摘要
B．引入
a) 人工智能系统的分类：以AlphaGo Zero为例
b) 现有的人工智能系统分类框架
C．分类框架的开发
D．研究方法论
E．评估框架性能
a) 框架A、B和C
b) 框架D
c) 比较不同框架
F．讨论
G. 下一步研究
【文章梗概】
01
人工智能分类的必要性
随着人工智能快速进入人们的生活，各国政府正在推进人工智能伦理原则、编纂人工智能清单以及强制人工智能风险评估。但这些确保人工智能（以下简称AI）系统安全有效的努力，需要一个工具来指导我们如何识别和描述AI系统，以及需要一种对其进行分类的统一方法。有人可能会认为，这只需要一个关于AI系统的定义，但现有的诸多定义彼此之间差异太大，难以具有普适性。因此本文强调关注AI系统的分类而非定义，这可以让我们明确正在观察和谈论的对象是什么，从而为评估AI系统提供一种统一路径，而不是将AI限制在一个单一定义的属性上。
02
工具：分类框架
01
概念与必要性
分类框架是一种识别AI系统的重要的、与政策相关特征的工具。分类框架的重要性在于三点：第一，分类框架提供了一种结构化的方式来提取复杂技术特征并将信息收集标准化；第二，为政府和决策者提供组织化和可访问的方式，以制定和定位规范；第三，分类框架能够清晰地描述AI系统，从而促进公众对AI的理解，削弱“技术悲观主义”，并确保私营部门和公共部门所开发和部署的技术被适当地运营、管理和监管。
分类框架首先需要按照预定义的级别来找出该AI系统的可观察系统属性，从而对AI系统的特征进行描述。比如，AlphaGo Zero作为一个进行围棋游戏的人工智能系统，可以被归类为“高自主性”和“低影响”，据此对其进行描述：“它可以自主地采取行动，但这种行动对个人或社会的影响很小。”这种分类和描述，能够更好地确定对该AI系统管理和监管的需要，合理分配监管资源。上述分类过程中的“自主性+影响”其实就是文章所研究的分类框架之一。一个相对统一的分类框架能够应用于更广泛的AI系统，从而组织化并有针对性地进行监管。
02
现有的框架
在开始研究新提出的分类框架前，文章对前人已有的研究框架进行了梳理和评价。
首先是通过AI系统的技术特征来分类的方法，比如算法和数据的开放性、机器学习或推理等智能特征。作者认为这种描述技术特征的方法可能对学者、专家更适用，但对政策制定者这类非技术性人员而言则不那么适用。此外，AI技术的快速发展可能会逐渐降低这些提取出来的技术特征与AI系统的关联性。作者认为AI系统分类需要一种对使用者友好的框架，通过提供具有政策相关性的特征而非技术特征，对AI系统进行更加平衡的评估，以获得可持续的广泛适用性。
第二种现存框架侧重于AI系统自动化程度这一特征，但作者认为这一做法会忽略AI系统其他特征，比如应用、风险、影响。然而，风险和影响是公共部门评估的重点。比如欧盟委员会提出的《欧洲人工智能方法监管守则》就表示要提供一个“以明确定义的、基于风险的监管方法为中心的比例监管体系”。美国、加拿大、德国也均提出了基于风险或影响对算法或AI进行评估的方案。作者认为，AI系统的分类框架需要能够让人理解AI系统与人类的互动方式，以及人类在AI系统影响下采取的行动如何影响人权、健康和自由。
03
对四种分类框架的研究
本文所评估的四种分类框架是由CSET与经合组织、美国国土安全部合作开发而成的。与上述现存框架不同，这些新设计的框架是从政策制定者的需求出发，与两个不同政策领域的小组进行沟通和讨论获得的成果。作者强调，不是单个机构，甚至不是单个国家，才有AI系统分类的需求，所提出的分类框架解决方案应是基于广泛利益相关者的参与。
每个框架都是按照一定流程构建的：第一，识别AI系统的政策相关特征（如自主性、影响、数据收集方式）形成核心维度；第二，为每一维度定义一组级别（如低、中、高），将AI系统分配到各个级别中。
01
评估框架
02
研究方法
为了测试四个框架的可用性，CSET进行了两轮调查实验，其中超过360名受访者使用这些框架形成了超过1800个AI系统分类结果，测试了个人使用不同框架一致并准确地进行分类的能力，以观察公众和决策者如何使用该框架，以及哪种框架可能最有效。
如上所述，该研究考察的是用户所进行的AI系统分类的一致性和准确性。一致性是指分类结果在同一级别上的用户比例超过65%。准确性是指65%以上的用户分类结果与专家分类结果相匹配。
测试中的变量包括核心维度的数量以及其他因素。同时该研究注重对两种核心维度的观察，即影响和自主性。影响是指系统的运行和输出对个人和集体的影响，同时也考虑了在系统指导下的决策或行动的可逆性（或不可逆性）。自主性是指AI系统在没有人类参与的情况可以在多大程度上独立做出决定或执行行动，以及人类如何使用这种系统所输出的结果。
03
研究结论
1. 在四种框架中，更推荐使用C和D框架。在上述两个维度的框架（即A、B、C）中，C框架的一致准确比例最高。C框架具有简洁、描述性的自主性维度和明确的影响维度。D框架是一个需要对系统及其操作环境有更全面的理解的四维框架，产生了最高的一致准确分类比例（51%），比最低比例高出了一倍多。
2. 与自主性维度相比，使用影响维度来分类能够产生更多一致准确的结果。这一结论在所有框架中均有所体现。用户也更擅长于通过系统的使用场景，而非技术特征来分类。
3. 当用户使用自主性维度进行分类时，如果自主性级别更加具有描述性，则能够产生更多一致且准确的分类。当系统自治性水平被命名为“行为”、“决策”以及“感知”，而非“高”、“中”、“低”时，一致和准确的分类数量更高。所谓描述性级别可以具体化表述为：
行为自主：在正常运作过程中，系统在没有人工参与的情况下，进行输入，生成决策，并执行操作；
决策自主：在正常运作过程中，系统进行输入，生成决策（例如一个预测或推荐），但需要人工进行输出导向的操作。
感知自主：在正常运作过程中，系统进行输入并标记需要人工评估、决策和行动的信息。
4. 其他因素对分类结果的影响：
为用户提供各个框架维度的概要说明可以改进分类结果。在提供说明的条件下，一致准确的分类结果数量比没有提供说明时明显更多。
测试时提供的关于AI系统的信息的数量和类型在分类过程中至关重要。例如，研究发现，当对系统的描述缺乏具体用例时，分类结果会多变。
围绕AI和时事的公共话语可能会影响分类结果。特别是在一些分类维度存在解释空间时，比如影响维度，媒体对AI技术的报道和有关伦理考虑的公共话语可能塑造了用户关于在系统影响这个维度上的分类决定。
04
下一步研究
在报告最后作者提到，有关AI系统分类框架的研究仍在持续进行，比如经合组织尝试扩展D框架，以及CSET尝试用现实生活中与AI有关的事件来探索更多分类方式。同时作者指出，一个全面的框架仅是任务的一部分。虽然研究致力于让拥有最少的系统信息以及技术知识有限的个人可以在一定程度上识别出AI系统的一些对政策决定非常重要的特征。但确保用户能够访问相关的系统信息，包括技术性系统特征，仍然是对AI系统进行分类的关键。
【编译者】
陈瑞庭，对外经济贸易大学2020级法律硕士（非法学）研究生
本科毕业于中国政法大学新闻学专业，辅修法学。曾获对外经济贸易大学2021年度研究生国家奖学金、学业一等奖学金、金杜奖学金；曾担任2020-2021届国际刑事法院（英文）模拟法庭竞赛贸大法学院代表队政府方辩手，所在团队获全国总冠军及最佳书状奖，并进入全球赛九强。
【指导教师】张欣，对外经济贸易大学法学院副教授、院长助理
【编辑】宋佳钰，对外经济贸易大学法学院2021级法律硕士
算法合规编译系列